UCLA’dan biyomühendisler gerçek zamanlı olarak Amerikan işaret dilini, akıllı telefon uygulamasıyla İngilizce konuşmaya çeviren özel bir eldiven geliştirdiler. Araştırma Nature Electronics dergisinde yayınlandı.
“Bu sayede herhangi bir çevirmen olmadan,işaret dili bilmeyen insanlarla, daha kolay iletişim kurulmasını umut ediyoruz. Ayrıca bu sayede daha çok kişinin işaret dili öğrenebileceğini de düşünüyoruz,” diyor Los Angeles Kaliforniya Üniversitesi (UCLA) Samueli Mühendislik Okulu’ndan Doç. Dr. Jun Chen.
Bu sistemde parmaklara doğru esneyebilen 5 sensör ve bozuk para büyüklüğünde bir anakart var. Sensörler hareketi algılayabilen özel iletken iplerden üretiliyor. Parmak hareketlerinin oluşturduğu sinyaller, devre kartıyla akıllı telefona aktarılıyor ve uygulama sayesinde saniyede bir kelime hızında çevriliyor.
Ayrıca araştırmacılar, Amerikan İşaret Dilinin bir parçası olan yüz ifadelerini yakalamak için deneklerin kaşlarının arasına ve ağızlarının bir tarafına yapışkan sensörler eklediler .
Daha önceki ağır ve hantal cihazların aksine, bu yeni cihaz hafif ve ucuz uzayabilen polimerlerden yapılıyor. Ayrıca elektronik sensörler çok daha esnek ve ucuza mal oluyor.
Cihazı test etmek için araştırmacılar, Amerikan işaret dilini kullanan 4 işitme engelli bireyle çalıştı. Eldivenleri giyen her birey, bir hareketi 15 kez tekrarladı. Özel bir makine öğrenme algoritması kullanılarak el hareketleri, harfler, sayılar ve sözcüklere dönüştürüldü. Sistem 660 işaret ve 0-9 arası rakamı tanıyabiliyor.
UCLA bu teknolojinin patentini aldı. Bu teknolojiye dayalı ticari modelde daha fazla kelime ekleneceği ve daha hızlı çeviri yapılabileceği belirtiliyor.
Kaynak : https://techxplore.com/news/2020-06-wearable-tech-glove-language-speech-real.html
Araştırma Referansı:
Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays , Nature Electronics (2020). DOI: 10.1038/s41928-020-0428-6 , www.nature.com/articles/s41928-020-0428-6
Journal information:Nature Electronics
